Как вы знаете, хорошая компания Veeam Software делает не только всем известный Veeam Backup and Replication, но и полезный продукт Veeam Reporter, который позволяет вести трекинг изменений виртуальной инфраструктуры VMware vSphere и получать отчетность обо всех ее аспектах. О продукте Veeam Reporter мы уже писали.

Сейчас компания Veeam работает над созданием второй версии Capacity Planning Report pack for Veeam Reporter, которая позволит осуществлять планирование мощностей инфраструктуры виртуализации VMware vSphere. Он станет частью законченного решения для мониторинга и отчетности Veeam ONE.

Какими возможностями будет обладать Capacity Planning Report pack for Veeam Reporter:

• Recommendations for hardware planning and provisioning. В рамках этих возможностей можно будет получать грамотные рекомендации по планированию новых серверных мощностей и дозакупке хранилищ. В отличие от других решений по capacity planning, которые идентифицируют проблемные области и предсказывают, когда пороговые значения будут превышены, Capacity Planning Report pack анализирует узкие места в производительности и росте инфраструктры и выдает конкретные рекомендации по оборудованию и хранилищам, а также их конфигурациям.

• Enhanced what-if analysis. В дополнение к сценариям моделирования развития инфраструктуры, которые есть в текущей версии, появятся новые типы конфигураций хостов и виртуальных машин, которые можно использовать для анализа в стиле "что произойдет, если будет как есть, или как будет, если мы добавим такие-то мощности".

• Identification of over-provisioned storage. При использовании thin provisioning для виртуальных машин может возникнуть ситуация, когда машины при росте данных могут заполнить хранилище, что вызовет отказ гостевых ОС. Capacity Planning Report pack все это учитывает и своевременно дает рекомендации по хранилищам.

А теперь, слайды:

Приятно, что Capacity Planning Report pack for Veeam Reporter будет доступен абсолютно бесплатно для всех текущих и новых пользователей Veeam Reporter и Veeam ONE.

Как мы уже писали, компания StarWind готовится к выпуску версии StarWind Enterprise 5.7, которая будет иметь несколько новых возможностей. О продукте StarWind Enterprise можно почитать тут, тут и тут.

А на днях стала доступна публичная бета-версия StarWind Enterprise 5.7, которую можно скачать в рамках программы тестирования. В статье приведены новые возможности, которые точно появятся в StarWind 5.7.

Компания VMware сделала отличную вещь: доработала свою страницу VMware Compatibility Guide (ранее известную также как Hardware Compatibility Guide) и выпустила превью второй ее версии - VMware Compatibility Guide 2.0.

В новой версии появилось несколько дополнительных возможностей и параметров поиска по конфигурациям виртуальных систем. Кроме того, появился раздел VMware Aware Storage APIs (VASA, или он же VMware vStorage APIs for Storage Awareness), в котором можно будет найти информацию о поддержке данной технологии, связанной с интеграцией дисковых массивов с vCenter на платформе vSphere (это появится в пятой версии и может оказаться полезным для балансировки нагрузки на системы хранения Storage DRS).

Хорошо, что на свете есть Veeam Backup and Replication 5, который оставил конкурентов на сотни километров позади, и является лучшим на сегодняшний день средством резервного копирования виртуальных машин VMware vSphere. Мы уже писали о новых возможностях Veeam Backup and Replication 5.0, а сегодня рассмотрим нововведения в версиях 5.0.1 и 5.0.2 (последняя вышла не так давно).

Итак, новое в Veeam Backup and Replication 5.0.1:

• Поддержка Distributed Virtual Switches (dvSwitch). Теперь это устройство VMware vSphere поддерживается для создания виртуальных лабораторий (Virtual Labs), позволяя еще более гибко подходить к их созданию.
• SQL Server Role - новый скрипт для поддержки верификации резервных копий с SQL-серверами с помощью SureBackup.
• Automatic failover for Veeam Backup - при попытке забэкапить сам сервер Veeam Backup в режиме Virtual Appliance происходит переключение в Network mode.
• Multi-OS File Level Restore DHCP requirement removed - теперь виртуальный модуль для восстановления файлов из резервных копий не требует наличия DHCP и может работать со статическим IP-адресом.
• Multi-OS File Level Restore via FTP - теперь на виртуальном модуле для восстановления файлов можно включить FTP-сервер, который можно использовать в сценариях восстановления для тысяч файлов из гостевых ОС. Также в рамках этого, пользователь конкретной ВМ может восстанавливать файлы самостоятельно.

А вот что нового появилось в версии 5.0.2:

• Internet access from virtual lab - теперь при тестировании бэкапов SureBackup в виртуальных лабораториях можно использовать доступ в интернет из этих машин (настраивается в реестре сервера Veeam).
• Automated retention for removed and deleted VMs - в интерфейсе можно настроить удаление данных из резервных копий, которые относятся к уже удаленным из окружения vSphere виртуальным машинам. Удаление произойдет через заданное количество дней. Очень удобно для временных и тестовых систем.
• Optional catalog import - импорт каталога гостевой ОС теперь не обязателен при импорте бэкапа для Veeam Backup (то есть когда не нужно залезать в гостевую ОС для восстановления, а достаточно восстановить машину целиком). Теперь импорт бэкапа работает быстрее.
• Date Modified attribute preservation - теперь при мгновенном восстановлении файлов в ОС Microsoft сохраняется аттрибут Date Modified.
• Поддержка Microsoft Windows Storage Server - теперь сюда можно устанавливать Veeam Backup Server и Veeam Enterprise Manager.

Напоминаю, что скачивать Veeam Backup and Replication 5 нужно по этой ссылке, а покупать - по этой.

Как вы знаете, в платформе виртуализации VMware vSphere 4.1 появилось несколько новых улучшений в плане производительности горячей миграции виртуальных машин vMotion между серверами VMware ESX / ESXi (об этом можно почитать тут и тут).

Одно из улучшений vMotion - функция Quick Resume, которая позволяет произвести успешную миграцию виртуальной машины, в которой происходит очень интенсивная работа с памятью (то есть страницы меняются быстрее, чем успевают передаваться по сети на другой хост). Обычно это высокопроизводительные приложения вроде баз данных и т.п.

Duncan Epping, сотрудник VMware и известный блоггер, недавно раскрыл подробности работы Quick Resume. За счет этой техники виртуальная машна перемещаемая на целевой хост запускается еще до того, как все страницы полностью скопируются. Но в этом случае целевая машина может запросить страницу памяти, которая еще не скопировалась.

В этом случае Quick Resume обеспечивает доступ к странице с исходной виртуальной машины, продолжая при этом копирование страниц на целевой хост. Но что будет, если в этот момент сеть перестанет быть доступной, а целевой машине понадобится страница?

В этом случае Quick Resume для vMotion, также как и Storage IO Control, использует общее хранилище для хостов ESX / ESXi. На хранилище создается специальный файл, который используется как backup buffer, к которому имеют доступ оба хоста, и за счет которого миграция vMotion доводится до конца. То есть, через этот буферный файл (несколько мегабайт) происходит обмен страницами между хостами в случае недоступности сети или высокоинтенсивной нагрузки. Естественно это все заметно влияет на производительность ВМ во время миграции, так как время доступа к памяти сильно увеличивается, зато все отрабатывает надежно.

Ну и вспомните, если забыли, как работает Storage vMotion.

Мы уже рассказывали о том, как известный профессионал в сфере виртуализации Eric Siebert начал писать свою книгу о лучших практиках резервного копирования виртуальных машин VMware vSphere. Сейчас на сайте Veeam появился документ "Top 10 Best Practices for VMware Data Protection", который именно об этом рассказывает, и который можно скачать бесплатно и без регистрации.

Документ рассказывает о довольно-таки простых, но важных вещах (все из которых реализованы в продукте Veeam Backup and Replication 5):

• Не делайте резервные копии на уровне гостевой ОС - в среде виртуализации это делают на уровне образа виртуальной машины. Это не нагружает гостевую ОС, можно делать резервное копирование напрямую в SAN и можно таким образом бэкапить что угодно.
• Используйте VMware vStorage API - эта технология (и, в частности, ее инструмент Changed Block Tracking) - в разы ускоряют создание инкрементальных резервных копий.
• Обязательно используйте поддержку VSS для создания целостных бэкапов - Veeam Backup умеет работать с VSS в гостевых ОС.
• Следите за использованием вычислительных и дисковых ресурсов - помните, что, с одной стороны, ваше решение по резервному копированию должно обеспечивать максимальную эффективность в отношении хранилища резервных копий - дедупликация, компрессия, возможность сохранять отдельные диски, возможность импорта изолированных бэкапов, а, с другой стороны, бэкап сервер должен иметь достаточные вычислительные мощности для обработки заданий и достаточную ширину канала резервного копирования.
• Используйте репликацию для критичных систем - реплика создается в режиме Near-CDP, что позволяет добиться минимальных потерь в случае аварии и наименьшего времени восстановления работоспособности системы (показатели RPO и RTO).
• Проверяйте целостность ваших резервных копий - с технологией SureBackup теперь это просто, а сама процедура автоматизирована. Теперь можно проверять абсолютно все бэкапы.
• Используйте новые методики восстановления - отдельные файлы из образа можно восстанавливать в работающую ВМ уже давно, но теперь появилась возможность восстанавливать объекты Active Directory, SQL и Exchange - это действительно удобно и иногда по-настоящему (функция U-AIR).

Остальные подробности в документе "Top 10 Best Practices for VMware Data Protection".

Kenny Coleman, один из блоггеров, пишущий о виртуализации VMware, выпустил пакет утилит для администраторов виртуальной инфраструктуры vSphere / ESX под названием VM Advanced ISO. Пакет содержит в себе набор необходимых программ для рутинных задач с виртуальными машинами:

• Утилиты 1 - P2V Clean-up
  • 01 - Resolution Resize (меняем разрешение гостевой ОС)
  • 02 - HP ProLiant Cleaner (вычищаем софт HP после миграции в ВМ)
  • 03 - Remove Non Present Devices (чистим недоудаленные бывшие физические устройства)
  • 04 - Rename Local Area Connection (переименовываем соединение)
  • 05 - Network Settings (конфигурируем сетевые настройки)
    
• Утилиты 2 - Hal Upgrade-Downgrade
  • 01 - 1 CPU to Multiple vCPU (меняем HAL с однопроцессорного на многопроцессорный)
  • 02 - Multiple CPU to 1 vCPU (меняем назад)
• Утилиты 3 - Partition Alignment
  • 01 - VM Check Alignment (проверяем выровненность дисков)
  • 02 - mbrtools (работаем с загрузочной записью)
  • 03 - Aligning VMDK For Template (выравниваем шаблоны)
  • 04 - Paragon Alignment Tool 2.0 (бесплатная утилита от Paragon)
• Утилиты 4 - Reclaim Space
  • 01 - SDelete (чистим удаленные блоки - подробнее здесь)
• Утилиты 5 - Analysis
  • 01 - IOPS w/ IOmeter (измеряем производительность дисков)
  • 02 - LoadStorm (нагрузочное тестирование)
• Утилиты 6 - SysprepFiles
  • Server 2000, Server 2003, Server 2003 x64, XP, XP x64, XP w/ SP3 (как использовать - тут)
• Утилиты 7 - Virtual Router
  • FreeSCO (бесплатный виртуальный роутер)
• Утилиты 8 - Floppies
  • 01-LSI_Logic_Parallel_WinXP_x86 (драйвер LSI для WinXP)
  • 02-Bus_LogicParallel_WinXP_x86 (драйвер BusLogic для WinXP)
• Утилиты 9 - vSphere Client <-NEW
  
• vSphere Client Thinapped (клиент vSphere без необходимости установки)

Удобненько, что все в формате ISO - легко монтируется к виртуальной машине с хранилища. Кстати, зайдите еще сюда - тоже неплохой список утилит.

Мы уже много писали о решении StarWind Enterprise iSCSI, которое позволяет создавать надежные отказоустойчивые хранилища для виртуальных машин на серверах VMware ESX и Microsoft Hyper-V (подробнее тут, тут и тут) и будем продолжать писать, пока вы все его не купите.

Сегодня мы поговорим о непрерывной защите данных виртуальных хранилищ, например, на томах VMFS, где размещены виртуальные машины VMware vSphere. Во-первых, настоятельно рекомендуем вам прочитать статью о виртуальных дисках типа Snapshot and CDP Device, которые позволяют создавать защищенные хранища на базе технологии снапшотов StarWind.

Диски типа Snapshot and CDP Device можно создать, когда вы выбираете опцию создания виртуального образа Advanced Virtual, а затем Snapshot and CDP Device:

CDP - это Continuous Data Protection, т.е. непрерывная защита данных ваших виртуальных машин. В этом режиме поддерживаются мгновенные снимки хранилища (snapshots), которые защитят вас от утраты каких-либо важных данных по вине пользователя - вы всегда сможете откатиться к снимку, созданному в определенный момент времени.

Диск типа Snapshot and CDP - в таком режиме StarWind будет автоматически создавать снапшоты хранилищ с заданным интервалом времени (опция Snapshot auto creation with interval of (minutes)). Такой тип диска полезен для постоянной защиты данных (Continuous Data Protection, CDP) хранилищ виртуальных машин от их утери или порчи. В случае сбоя можно откатиться к нужному снапшоту. Кроме того, поддерживаются также и снапшоты, создаваемые администратором вручную.

Здесь имеют значение следующие параметры:

• Limit on the maximum number of stored snapshots - здесь мы ограничиваем число хранимых снапшотов.
• Snapshot auto creation interval - это число минут, через которое будут автоматически создаваться снапшоты для защиты вашего хранилища от порчи пользовательских данных. Это очень удобно при разработке и тестировании, когда вам нужно создавать копии целого набора виртуальных машин на хранилище автоматически. Ну и, само собой, это удобно в производственной среде - когда есть шанс того, что какие-нибудь действия приведут к утере данных (БД и прочее).

В целях надежности - для каждой сессии при работе с хранилищем создается свой журнал. После снятия снапшота на диск пишутся только изменения, происходящие в хранилище, не затрагивая то, что было до создания снимка.

Почему иногда полезно использовать защиту хранилищ средствами снапшотов вместо бэкапов? Прежде всего, это скорость восстановления ваших данных - к снапшоту можно откатиться очень быстро, а восстановление хранилища из резервных копий занимает очень долгое время. Соответственно, снапшот делается быстро, а бэкап - долго. Все это влияет на показатели RTO (Recovery Time Objective), а по-русски - время восстановления работоспособности сервисов.

Кроме того, хранилище StarWind Enterprise, на котором сделан снапшот - просто забрать для резервной копии, поскольку все те данные, что были до момента снятия снапшота освобождены от операций записи:

Если вы задали параметры Limit on the maximum number of stored snapshots и Snapshot auto creation interval - то у вас снапшоты будут создаваться автоматически, а откатиться к ним вы сможете используя материалы вот этой нашей заметки.

В папке с виртуальным диском Snapshot and CDP вы можете увидеть следующие файлы, знать назначение которых полезно:

*.ibv - заголовок тома виртуального диска
*.ibvm - карта секторов тома, создаваемая на период сессии
*.ibvd - этот файл содержит отличия снапшота от базового образа (то есть сами данные)
*.ibvss - в этом файле содержится заголовок снапшота

Что насчет консистентности снапшотов StarWind Enterprise? Об этом разработчики также позаботились. В продукте есть поддержка технологии Volume Shadow Services - VSS Module (он есть как для 32-х, так и для 64-битных систем).

Технология VSS, работающая на блочном уровне, позволяет получать целостные копии томов при работе со снапшотами, таким образом, чтобы два куска одного файла не оказались по разные стороны от снапшота. В данном случае эта технология работает на уровне целого хранилища (помним, что StarWind - это ПО для Windows Server), не позволяя файлам VMDK или VHD получаться неконсистентными (то есть, невосстановимыми) при работе со снапшотами.

На этом, пожалуй, все. Более подробно данная тема освещена в документе "Implementation of enhanced data protection using StarWind continuous data protection", который скачивается без регистрации.

Мы уже писали о ставших официально известными подробностях о новой версии платформы виртуализации VMware vSphere 5.0. С мной поделились интересной ссылкой на подробное описание новых функций vSphere 5.0, которое сделано, судя по всему, на базе Release Candidate версии продукта.

Поскольку я не нахожусь под действием NDA и не участвую в бета-программе, я могу поделиться с вами основными ключевыми возможностями vSphere 5.0 (приведены лишь ключевые особенности - остальные по ссылке выше):

1. Платформа vSphere 5.0 будет построена только на базе гипервизора ESXi - без возможности установки ESX. Сервер управления VMware vCenter 5.0 будет поддерживать управление хостами ESXi 5.0, ESX/ESXi 4.x и ESX/ESXi 3.5.

2. VMware vSphere Auto Deploy - полная поддержка автоматизированного развертывания хостов ESXi.

3. Новые возможности виртуальных машин - 32 виртуальных процессора (vCPU), 1 TB RAM, 3D-акселерация для поддержки Windows Aero,  UEFI virtual BIOS, поддержка устройств USB 3.0 (пока только для Linux-систем и только для проброса через vSphere Web Client - напрямую к хосту нельзя). Устройства USB 2.0 теперь поддерживаются к пробросу в виртуальные машины через vSphere Client или vSphere Web Client.

4. Возможность задания нескольких виртуальных ядер для vCPU из графического интерфейса.

5. Поддержка гостевых ОС Apple Mac OS X Server.

6. Dynamic Resource Scheduling (DRS) for Storage - эта давно ожидаемая функция платформы виртуализации, которая позволит автоматически выравнивать нагрузку на системы хранения путем динамического перемещения работающих виртуальных машин между хранилищами (сейчас это можно сделать вручную за счет Storage VMotion). Пользователи смогут определять группы Datastor'ов (они зовутся Storage Pods), которые будут использоваться для балансировки по хранилищам на базе их заполненности. Предполагается, что это повысит автоматизацию датацентров. Вроде как присутствует и генерация рекомендаций по балансировке и Initial Placement на базе параметров IO.

7. Policy-driven storage delivery - политики размещения виртуальных машин на хранилищах на базе правил, задаваемых администратором. Это позволит регулировать качество обслуживания систем со стороны хранилищ и автоматически определять наилучшее место хранения виртуальных машин.

8. Файловая система VMFS 5.0.

9. Accelerator - новая технология кэширования данных виртуальных ПК для VMware View, увеличивающая их производительность.

10. Полный контроль за iSCSI адаптерами (программными и аппаратными) из графического интерфейса.

11. Поддержка технологии Storage I/O Control для хранилищ NFS.

12. Swap to SSD - для хранилищ администратор будет назначать тэги, наиболее производительные хранилища SSD будет рекомендовано использовать для хранения swap-файлов в целях ускорения быстродействия.

13. Поддержка LUN для VMFS томов размером более 2 ТБ.

14. Поддержка технологии Storage vMotion для виртуальных машин со снапшотами.

15. Enhanced Network I/O Control (на уровне виртуальных машин) - эта возможность будет позволять резервировать часть канала для приоритетных задач в кластере HA/DRS на случай его перегрузки. Актуально это будет для сетей 10G, где канал шире, а вот физических адаптеров значительно меньше.

16. ESXi Firewal - новый сетевой экран с фильтрами по диапазонам IP для каждой службы.

17. vSphere Web Client на базе технологии Adobe Flex с большим спектром возможностей. Старый vSphere Client под Windows также останется.

18. vCenter Server Appliance - виртуальный модуль на базе Linux с предустановленной службой vCenter. О CTP-версии данного продукта мы уже писали.

19. Enhanced logging support - поддержка логирования на удаленные серверы, в том числе на несколько серверов от одного источника по безопасному каналу SSL. Для vSphere Client будет плагин vSphere syslog listener, который позволит настраивать данную функциональность.

20. Fault Domain Manager  - специализированный модуль управления высокой доступностью VMware HA, который еще больше увеличивает уровень доступности виртуальных машин. Кроме того, теперь все хост-серверы VMware ESXi в кластере являются первичными узлами (primary nodes) - то есть кластер HA переживет любое число отказов.

21. Host-based replication for Site Recovery Manager - возможность репликации виртуальных машин на уровне хостов а не SAN-хранилищ (как делается сейчас). То есть, поддержка технологии репликации со стороны СХД будет не нужна, репликация будет работать в асинхронном режиме со стороны хост-серверов. По-сути, это аналог репликации виртуальных машин в продукте Veeam Backup and Replication 5, которая сейчас активно используется в производственной среде многими компаниями для защиты данных виртуальных машин и наиболее быстрого восстановления работоспособности сервисов (показатели RTO).

Выход VMware vSphere 5.0 запланирован на второе полугодие 2011 года. Но скорее всего пятая версия платформы выйдет до VMworld 2011, который начнется 29 августа.

Естественно, информация неофициальная и список новых возможностей VMware vSphere 5.0 может быть изменен в любой момент. Но вот что будет точно - так это отсутствие гипервизора ESX - так что всем организациям пора задуматься о плане перехода на "тонкую" платформу ESXi 5.0.

Если вы вносите изменения в настройки виртуальной машины в файле vmx (что аналогично внесению изменений в Configuration Parameters), например, для ограничения максимального числа снапшотов:

то иногда бывает полезным перезагрузить vmx-файл виртуальной машины без удаления и повторного ее добавления в Inventory vSphere Client. Для этого нужно в консоли выполнить команду:

vmware-vim-cmd vmsvc/getallvms |grep <Virtual Machine Name>

Вывод будет, например, таким:

2848 Win2003_storage_performance [local] Win .vmx winNetEnterpriseGuest vmx-07 To be used as a template

Число 2848 - это Inventory ID виртуальной машины. Перезагружаем vmx-файл (для этого виртуальная машина должна быть выключена):

vmware-vim-cmd vmsvc/reload 2848

О решении StarWind Enterprise iSCSI для создания отказоустойчивых хранилищ VMware vSphere и Microsoft Hyper-V мы уже писали немало (для этого есть специальный раздел на нашем сайте) и будем писать еще, пока все кому оно нужно его не купят. А нужно оно очень многим, так как позволяет создать отказоустойчивый кластер хранения на базе существующей инфраструктуры Ethernet при минимальных инвестициях (не надо покупать FC-хранилища, устройства коммутации SAN и прочее).

Сегодня мы поговорим о типе диска Snapshot and CDP Device в StarWind Enterprise iSCSI. Во-первых, вам нужно прочитать первую часть статьи, где описаны основные режимы работы дисков со снапшотами, которые поддерживает продукт.

Диски типа Snapshot and CDP Device можно создать, когда вы выбираете опцию создания виртуального образа Advanced Virtual, а затем Snapshot and CDP Device:

CDP - это Continuous Data Protection, т.е. непрерывная защита данных ваших виртуальных машин. В этом режиме поддерживаются мгновенные снимки хранилища (snapshots), которые защитят вас от утраты каких-либо важных данных по вине пользователя - вы всегда сможете откатиться к снимку, созданному в определенный момент времени.

Какие опции мы имеем (кстати, обратите внимание, что StarWind можно использовать и для Citrix XenServer, где он находится в официальном HCL):

Во-первых, у нас есть три режима работы диска Snapshot and CDP Device...(нажимаем читать дальше и комментировать)

Мы уже писали о решении vBlock, которое в рамках инициативы VCE (Virtual Computing Environment) объединяет решения Cisco (блейд-системы, коммутаторы Nexus, хранилища EMC и платформу VMware vSphere), а вот про конкурента этого решения мы еще не писали.

Есть такая штука как FlexPod - это тоже совместная инициатива, но в ней EMC как производитель хранилищ меняется на NetApp.

На всем этом деле, само собой, работает VMware vSphere в самом продвинутом издании Enterprise Plus с сервером управления vCenter. Все это предлагается использовать как для серверных нагрузок, так и для VDI (Virtual Desktop Infrastructure) на базе VMware View.

Какие преимущества имеет покупка такого блочного решения по сравнению с отдельной закупкой компонентов:

• Оно протестировано и сбалансировано с точки зрения производительности - а значит есть лучшие практики по тому, как правильно и какие нагрузки в таких шкафах можно размещать (например, почтовые системы, базы данных и т.п.)
• Интегрированные средства управления таким блоком
• Пакет документации по развертыванию, настройке и сопровождению
• Единая поддержка решения - от объединения вендоров (например, у vBlock - это объединение Acadia)
• Хороший выбор для облаков - внутренних (корпоративных) и внешних (сервис-провайдеры)

Недостаток этого всего - жутко дорого, а значит подходит только для крупных и, иногда, средних компаний. Больше рассказывать не буду, а то подумаете, что это реклама.

Что можно почитать на эту тему:

• Раздел на сайте NetApp
• Технические спецификации шкафов
• Даташит
• Статейка от Virtual Storage Guy

Я так понимаю, этой штуки еще нет в продаже. Тут иногда заходит Роман, спец по NetApp, может он ответит на ваши вопросы в каментах.

Вы уже много знаете о решении StarWind Enterprise для создания отказоустойчивых хранилищ iSCSI благодаря статьям тут, тут и тут, а также специальному разделу на нашем сайте. Многие из вас уже задумываются о покупке этого волшебного продукта для создания надежных и недорогих хранилищ для своих виртуальных машин на VMware vSphere. Так вот - сейчас самое время сделать это, ибо:

Уникальное предложение месяца!

Купи Starwind Enterprise 5.6 до конца марта и сэкономь:

10% - на лицензии Starwind Enterprise HA Edition;

5% - на лицензиях Starwind Enterprise Mirroring & Replication Edition и Starwind Enterprise CDP Edition.

Подробнее ->>

Скидки действуют  только на заказы, размещенные до 31 Марта 2011.

Акция короткая - торопитесь же скорее, не каждый день такие подарки делают. Заказы размещаются на сайте компании VMC.

Напоминаю возможности изданий:

	StarWind Enterprise CDP Edition	StarWind Enterprise Mirroring & Replication Edition	StarWind Enterprise HA 2ТБ Edition	StarWind Enterprise HA 4ТБ Edition	StarWind Enterprise HA 8ТБ Edition	StarWind Enterprise HA 16ТБ Edition	StarWind Enterprise HA Unlimited
Поддержка	1 год	1 год	1 год	1 год	1 год	1 год	1 год
Количество серверов за лицензию (сколько процессоров - неважно)	1	2	2	2	2	4	4
Максимальная мощность	4ТБ	Безлимит	2ТБ	4ТБ	8ТБ	16ТБ	Безлимит
Количество одновременных соединений ISCSI	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит
Ethernet порты	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит
Обслуживаемые диски	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит	Безлимит
Файлы образов диска
IPSec, CHAP, ACL, iSNS
Сетевой мост
SPTI
CDP / Snapshots
Thin Provisioning
Высокоскоростное кэширование
Синхронное зеркалирование
Удаленная репликация
Автоматическое восстановление после отказа
Целостность данных с быстрой синхронизацией (FastSync)
Цена	$995.00	По запросу	По запросу	По запросу	По запросу	По запросу	По запросу

Приятный момент при покупке StarWind - вы покупаете какое-нибудь издание (например, базовое на один сервер), а потом решаете, что вам нужна высокая доступность. Вы делаете апгрейд - и платите только разницу в цене между изданиями, без диковинных наценок, которые появляются, например, у VMware.

Компания VMware 8 марта запустила промо-программу для покупателей в сегменте малого и среднего бизнеса. В рамках этой программы все клиенты, которые приобретут пакеты ПО VMware vSphere Essentials и Essentials Plus до 15 сентября получат возможность доступа к бесплатной обучающей программе по данным продуктам.

Вкратце для тех, кто не знает, что это за пакеты. Они включают в себя лицензии на 6 физических процессоров для хост-серверов виртуализации VMware ESX / ESXi (в каждом сервере не больше 2-х процессоров) + лицензию на сервер управления VMware vCenter for Essentials.

Издание VMware vSphere 4 Essentials включает в себя следующие возможности:

• VMware VMFS - кластерная файловая система VMware высокой надежности для хранения виртуальных машин, разработанная специально для виртуальных инфраструктур.
• VMware Thin Provisioning - возможность оптимизации использования пространства систем хранения, позволяющая экономить дисковые емкости за счет растущих по мере наполнения виртуальных дисков.
• VMware vStorage API – средство централизованного резервного копирования виртуальных машин, работающее без агентов (то есть можно использовать Veeam Backup and Replication).
• VMware Update Manager – динамическое обновление хост-серверов и виртуальных машин без простоев ИТ-сервисов.

Издание VMware vSphere 4 Essentials Plus, кроме того, что есть в Essentials, включает в себя еще следующие возможности:

• VMware High Availability - встроенное средство кластеризации ВСЕХ виртуальных машин, автоматически перезапускающее их на других серверах в случае сбоя.
• VMware vCenter Data Recovery - продукт, обеспечивающий централизованное резервное копирование и восстановление виртуальных машин и их файлов из графичесого интерфейса.
• VMware VMotion - технология "горячей" миграции виртуальных машин между хост-серверами без прерывания работы приложений и пользовательских сессий.

Купить данные пакеты со скидкой для читателей VM Guru можно по этой ссылке.

Как вы знаете, у компании VMware есть проприетарная система VMFS (официально называемая "VMware Virtual Machine File System"), которая представляет собой распределенную кластерную файловую систему с возможностью одновременного доступа со стороны нескольких хост-серверов VMware ESX / ESXi. VMFS имеет версии, которые можно увидеть в свойствах Datastore в vSphere Client:

VMFS версии 3 впервые появилась в VMware ESX 3.0 (тогда же она перешла от плоской структуры к структуре директорий). Теперь же версии VMFS соответствуют следующим версиям хостов их создавшим:

• ESX 3.0 - VMFS 3.21
• ESX 3.5 - VMFS 3.31 (новая возможность: optimistic locking - сбор локов в пачки, что повышает производительность при SCSI-резервациях)
• ESX 4.0 - VMFS 3.33 (новая возможность: optimistic IO - увеличение эффективности канала ввода-вывода при работе с метаданными тома)
• ESX 4.1 - VMFS 3.46 (поддержка алгоритмов VAAI)

Казалось бы нужно обновлять виртуальные хранилища, чтобы они поддерживали все новые возможности новых версий VMware vSphere. А хранилище VMFS никак обновить нельзя - его можно только создать заново более новой версией, предварительно освободив. Но ничего этого делать не нужно.

Все нововведения по работе с хранилищами делаются со стороны драйвера VMFS на хост-сервере VMware ESX / ESXi, а на самом томе VMFS только ставится маркер версии драйвера его отформатировавшего (например, в datamover'е). Хотя, говорят, в самой структуре тома говорят тоже происходят незначительные изменения. Но все это значит, что на Datastore, созданном из ESX 3.0 (VMFS 3.21), вы можете использовать все функции ESX 4.1 (VMFS 3.46) по работе с хранилищами, например, Thin Provisioning или VMFS Volume Grow (хотя вот про последнее есть иные мнения).

Компания VMware на прошлой неделе выпустила продукт VMware vCenter Operations, который позволит системным администраторам и менеджерам датацентров обнаруживать, анализировать и решать проблемы производительности VMware vSphere.

vCenter Operations собирает данные о производительности каждого из объектов виртуальной инфраструктуры VMware vSphere (виртуальные машины, хранилища, кластеры, датацентр в целом), хранит их в централизованной базе данных, анализирует их и делает отчет в реальном времени о текущих проблемах производительности, а также о потенциальных проблемах.

Есть разные представления данных:

Основные особенности vCenter Operations:

• Комбинирование ключевых метрик производительности в общее количество баллов для датацентра (CPU, memory, disk, contention performance). 
  
• vCenter Operations вычисляет диапазон значений, который находится в рамках допустимой производительности, и подсвечивает отклонения от этого диапазона. 
  
• Графическое представление инфраструктуры в контексте производительности с возможностью "проваливания" до отдельных компонентов. 
  
• Отображение информации об изменениях в иерархии виртуальной инфраструктуры, после чего vCenter Operations показывает, как эти изменения отразились на производительности различных объектов. Например, если виртуальная машина переместилась за счет vMotion между хостами VMware ESX, vCenter Operations покажет нам как изменилась нагрузка на хост-серверы.

Обзорное видео:

В продукте три основных аспекта представления информации о производительности виртуальной инфраструктуры vSphere:

• health - текущее состояние объекта или всего виртуального датацентра. Им назначаются очки, исходя из допустимых значений нормальной производительности, а также на основе исторических данных. Если показатели метрик выходят за данные значения - vCenter Operations оповещает об этом и сообщает о возможных причинах.
• analytics - на основе загрузки текущих метрик с помощью данного представления можно определить, какие объекты простаивают (например, хост-серверы), а какие требуют выделения дополнительных ресурсов (например, виртуальная машина).
• capacity - показывает какой процент емкости от физических ресурсов занимает тот или иной объект. Далее за счет модуля аналитики можно узнать время, когда ресурсов окажется недостаточно (например, заполнится Datastore) и сделать долгосрочные прогнозы по добавлению новых мощностей в инфраструктуру (вычислительные ресурсы, хранилища).

vCenter Operations поставляется в 3-х изданиях: Standard, Advanced и Enterprise:

	Standard	Advanced	Enterprise
Performance Management
Alerting and Visualization
Consolidated Health dashboard
Actionable health scores & KPIs
Top N priority views
Self learning behavior
Dynamic Thresholds
Early warning visualizations
Predictive 'Smart' Alerts
Alert lifecycle mgmt
Custom alerts
Email & SNMP notifications
Analysis & Troubleshooting
1 click root-cause dashboard w/ KPI history
Impact detection (Health trees)
Behavioral performance/workload analysis
Multiple KPI anomaly correlation
Contextual event overlays
HeatMap library
Cross Team views & enablement
Role based access & SSO
Actionable operator views
Problem isolation tools
Report by Custom Groups
vSphere awareness
Multi vCenter support
Integrated into vSphere Client
vSphere Inventory & dependency aware
Support for Reservations & Limits
Capacity Management
Capacity Awareness
Past, present, future capacity summaries
Current capacity bottlenecks
Future capacity shortfall notifications
Alerts on capacity conditions
Schedulable Capacity Reports
Report across multiple vCenters
Capacity Optimization
Analyze & trend resource wastage
Identify over-allocated, idle VMs
Identify under-utilized hosts, clusters
Identify waste from snapshots, templates, orphaned
VMs
Recommendations to reclaim resources
Recommendations to rightsize
Capacity Planning & Forecasting
Estimate remaining capacity
Estimate time remaining to full capacity
Forecast demand & supply
Trend Utilization vs demand
Trend Utilization and allocation
Replenishment recommendations
Interactive What-if modeling
Support for vSphere storage
Support for Peak usage
Support for Business time zones
Cross Team views & enablement
Role based access & SSO
Actionable operator views
Report by Custom Groups
Infra. utilization trend views for Upper mgmt
Supply forecast for provider teams: Storage, Network, Build
Usage & Optimization views for LOB
Cloud capacity reports for Provider & Tenants
Report customization
vSphere awareness
Integrated into vSphere Client
vSphere Inventory & dependency aware
Support for vCloud objects(vDCs)
Support for Thin Provisioning
Support for Reservations & Limits
Support for Linked Clones
Support for HA, FT
Configuration & Compliance Management
Configuration Visibility
Configuration and change visibility
Centralized dashboards
Out of box Reports
Change alerts
Continuous Compliance
Guest Compliance
Host Compliance
vCenter Compliance
Standard Regulatory compliance (SOX, HIPAA, DISA, ISO, BASEL II, PCI DSS, NIST)
Custom policy compliance
Automated compliance violation detection
Compliance remediation recommendations
Compliance remediation automation
Automated Provisioning and Patching
Manage OS distribution centrally
Discover new systems, build/deploy via PXE
Provision ESX/ESXi to "bare metal"
Provision OS to bare metal & VMs
Build and deploy software packages (Windows)
Connect to compliance policies
Automatically detect missing software
Remediate non-compliant systems
Distributed software repository
Cross Team Views & enablement
Role based access control
Active Directory integration

Скачать vCenter Operations с сайта VMware нельзя. Для запроса детальной информации обращайтесь к партнерам компании VMware.

После 16 месяцев разработки сообществом виртуализации Xen выпущен первый релиз платформы для организации облачных вычислений Xen Cloud Platform 1.0.

Новая версия Xen Cloud Platform 1.0 доступна для загрузки на сайте проекта Xen. Данный пакет возможно использовать для организации "облачных" инфраструктур на базе площадок сервис-провайдеров (аренда виртуальных машин - IaaS), а также для создании внутренних облаков в крупных организациях. То есть, данный пакет - это не только гипервизор Xen, но и средства управления облачной инфраструктурой, а также средства для организации взаимодействия между облаками.

Данное ПО можно дорабатывать под собственные нужды предприятия, оно распространяется по лицензии GPLv2, сам же код основан на исходниках продукта Citrix XenServer.

После релиза XCP 0.5 с прошлого лета добавились следующие функции:

• Включен гипервизор Xen 3.4.2
• Ядро Linux 2.6.32 privileged domain
• VM Protection and Recovery - настройка мгновенных снимков (снапшотов) по расписанию и архивирование виртуальных машин через функции snapshot или export
• Local host storage caching - локальное кэширование виртуальных машин на дисках хост-сервера для снижения нагрузки на общее хранилище
• Boot from SAN with multipathing support - загрузка хост-серверов Xen из SAN с поддержкой доступа по нескольким путям.
• Improved Linux guest support - обновленные щаблоны Ubuntu, Fedora 13/Red Hat Enterprise Linux (RHEL) 6, RHEL / CentOS / Oracle Enterprise Linux версий от 5.0 до 5.5 с поддержкой шаблона RHEL 5 для развертывания сервисов в облаке.
• Enhanced guest OS support - поддержка гостевых ОС Windows 7 SP1, Windows Server 2008 R2 SP1, Windows Server 2003 и Suse Linux Enterprise Server (SLES) 11 SP1
• Improved MPP RDAC multipathing - отчетность о статусе пути в конфигурации с несоколькими путями к СХД, а также отчетность и возможность срабатывания оповещений (health reporting and alerting) через XAPI.
• Snapshot improvements - улучшен механизм освобождения пространства на хранилище после удаления снапшотов, в т.ч. запущенной виртуальной машины.
• Поддержка драйвера blktap2 вместо blktap1 (улучшена работа с VHD-дисками, их клонирование)
• Поддержка средства управления Citrix XenCenter 5.6 FP1 (тут)
• Поддержка интеграции с платформой Openstack Bexar

Какие функции Xen Cloud Platform были раньше:

• Драйверы Windows PV, сертифицированные Microsoft
• Интерфейс XAPI для управления через Web
• Управление жизненным циклом виртуальных машин: Live snapshots, checkpoint, migration
• Пулы ресурсов: Safe live relocation, auto configuration, DR
• Конфигурация хост-серверов: управление системами хранения, сетевым взаимодействием, электропитанием
• Регистрация событий и нотификация администраторов
• Взаимодействие с ВМ по каналу SSL
• Возможности обновления платформы и накатывания патчей
• Мониторинг производительности
• Поддержка SR-IOV
• Установщик с CDROM и сети
• Полнофункциональное управление через CLI (команды семейства xe) и интерфейс "web services API"
• Поддержка распределенного коммутатора Open vSwitch
• Поддержка средств управления Xen Orchestra, Xen Cloud Control System (XCCS), OpenXenManager, Xen Web Manager и Zentific.

Коллеги, продолжаем нашу с вами совместную дискуссию о решении StarWind Enterprise, которое позволяет создать недорогое отказоустойчивое iSCSI-хранилище для виртуальных машин на серверах виртуализации VMware ESX и Microsoft Hyper-V. Для тех, кто не знает что это такое - пройдемте сюда, сюда и сюда.

Некоторым из вас известно, что только успела выйти версия StarWind Enterprise 5.6 с поддержкой дедупликации, как уже открыто бета-тестирование версии StarWind Enterprise 5.7 (для запроса беты пишите на beta@starwindsoftware.com). Что нового будет в следующей версии:

• Поддержка нескольких маршрутов для канала синхронизации. Теперь не обязательно делать NIC Team между узлами - любой маршрут подходит для передачи данных при синхронизации между нодами. Это увеличивает производительность и надежность, позволяя вам выбрать из большего числа конфигураций сети при проектировании решения по хранению виртуальных машин.
• Оптимизация производительности для сетей 10 GbE и 40 GbE (версии CDP и HA - сравнение изданий тут).
• Управление полосой пропускания канала синхронизации (QoS) - теперь можно регулировать приоритезацию трафика при синхронизации HA-узлов, что позволяет не забивать весь доступный канал и не затормаживать доступ к общему хранилищу.
• Дедупликация с размерами блока от 4кб до 256кб на выбор (вместо 512B сейчас), что позволит увеличить производительность процесса дедупликации до десяти раз, при этом качество ухудшится всего на 10-15% (при сравнении 512 байтовых с 4кб блоками). Кроме того, значительно понизится нагрузка на ЦПУ и 90% уменьшятся требования к объёму ОЗУ.
  

Что можно ожидать если не в следующих версиях чуть попозже:

• Восстановление партнерского узла на другом сервере в случае если он выпал насовсем (сломался сервер) - без вывода хранилища в offline
• Мониторинг активности узлов (read, write, total bandwidth). С каждом релизом (скорее всего) будут добавляться новые метрики
• Компрессия и архивирование старых логов (5.7?). Комментарий разработчиков: с 5.6 мы выставляем сколько хранить логи, так что хз будет ли именно архивирование.
  
• Снапшоты для HA-дисков (5.8)
• Дисконнект инициатора без удаления таргета в интерфейсе
• Превращение диска из обычного в HA target - без вывода хранилища в offline (далекие планы)
• Расширение диска HA-устройства - без вывода хранилища в offline (далекие планы)
• Изменение способов кэширования и объема RAM под это дело - без вывода хранилища в offline (далекие планы)
• Стэк плагинов - возможность использовать таргетам использовать функционал других плагинов (то есть снепшоты для НА, физ. диски для НА и т.д.)

А что бы вы хотели увидеть нового в StarWind? Кидайте в каменты - разработчики здесь и слушают вас.

Вы уже все привыкли к тому, что мы еженедельно рассказываем о продукте StarWind Enterprise iSCSI Target, который позволяет создавать отказоустойчивые хранилища для виртуальных машин на VMware ESX и Microsoft Hyper-V (подробнее тут, тут и в разделе StarWind).

Сегодня мы поговорим о механизме дедупликации данных в StarWind Enterprise iSCSI. Эта функциональность появилась, начиная с версии 5.6. Она позволяет создавать образы виртуальных дисков для хранилищ iSCSI, которые будут содержать только уникальные данные записываемых на них файлов (vmdk, vhd и прочее). Дедупликация работает "на лету", поэтому на хранилище попадают только уникальные блоки:

Объем, занимаемого этим хранилищем, будет расти по мере заполнения его уникальными данными файлов на нем хранящихся. Это позволяет значительно экономить на необходимых дисковых емкостях и понижает совокупную стоимость решения по построению инфраструктуры хранения данных виртуальных машин (c iSCSI она и так весьма небольшая).

Для создания дедуплицированного хранилища нужно выбрать тип диска Advanced Virtual (см типы дисков StarWind) и выбрать его подтип - Deduplicated disk device:

Обратите внимание - сейчас эта возможность экспериментальная (версия StarWind Enterprise 5.6). В следующих релизах она уже будет полностью поддерживаться. Поэтому ее пока используйте только для тестовых или некритичных систем.

Далее создаем новое устройство для виртуального диска, которое определяет максимальный объем хранилища (в нашем случае 5 ГБ):

Далее видим настройки, которые пока нельзя менять. Они определяют размер кэша для записи на данное виртуальное устройство, размер файла метаданных для виртуального диска и объем памяти, требующийся для работы с устройством.

Далее настраиваем параметры кэширования (подробнее в статье о кэшировании в StarWind Enterprise):

Смотрим получившиеся настройки:

И смотрим на получившийся диск в 5 ГБ:

Но реально на хранилище он занимает пока только вот столько:

Добавляем хранилище в vSphere Client:

Видим емкость в 5 ГБ:

Теперь создаем виртуальную машину на этом хранилище с диском в 2 ГБ (этот vmdk-диск указываем как thick, а не thin - то есть он создается сразу файлом в 2 ГБ):

И видим, что общее пространство, занимаемое диском StarWind Enterprise изменилось незначительно (в данном случае я уже был в середине установки Windows 2003 Server в этой виртуальной машине):

То есть в данном случае не просто Thin Provisioning, а полноценная дедупликация данных на лету средствами StarWind Enterprise.

Скачать замечательный продукт StarWind Enterprise iSCSI можно по этой ссылке, а покупают его по этой ссылке.

Копировать руками машину каждый раз, когда нужно внедрить какое-то оборудование, или просто для сохранения данных, это безумно неудобно. Вот для этого и была придумана технология автоматизированного бэкапа, написанная энтузиастами на скриптах perl: ghettoVCB.

Вы все уже вполне себе знаете, что есть на свете замечательный продукт StarWind Enterprise 5.6, который позволяет создавать отказоустойчивое хранилище для виртуальных машин VMware vSphere / Microsoft Hyper-V на базе технологии iSCSI, что не требует больших вложений и отлично подходит для небольших компаний и филиалов, где дорого и нецелесообразно покупать громоздкие Fibre Channel массивы (да и, вообще, FC вымирает потихоньку, особенно с приходом 10G Ethernet). О StarWind у нас есть специальный раздел, а также рекомендую почитать тут, тут и тут.

Сегодня мы поговорим о том, какие еще возможности существуют в StarWind Enterprise при работе с дисками (см. предыдущую статью). Во-первых, при создании образа виртуального диска можно задать опцию шифрования данных, которая позволит вам повысить безопасность инфраструктуры хранения виртуальных машин:

Во-вторых, в StarWind iSCSI Target есть возможность расширить уже существующее хранилище. Для этого нужно просто нажать правой кнопкой на файл образа виртуального диска и выбрать пункт "Extend Image Size":

Расширим наше хранилище с 10 до 15 ГБ:

Данная операция не повреждает хранилище с виртуальными машинами. После расширения образа виртуального диска с хранилищем VMFS, в VMware vSphere вам нужно будет сделать расширение тома. Выбираем Properties для нашего Datastore:

И нажимаем кнопку Increase:

Выбираем наш том:

И расширяем его:

Хранилище VMFS расширено на 5 ГБ:

Вот так легко и непринужденно можно оперировать с томами StarWind Enterprise iSCSI. Скачать продукт можно по этой ссылке. Нормальные ребята покупают его тут.

Как вы знаете в последнем релизе платформы виртуализации VMware vSphere 4.1 было заявлено множество новых возможностей. Одна из них весьма важна с точки зрения производительности в части работы виртуальных машин с системой хранения. Эта технология называется VMware vSphere VAAI, то есть vStorage API for Array Integration.

Итак, что такое VMware vSphere VAAI. Это комплекс технологий компании VMware, разработанный в сотрудничестве с производителями дисковых массивов (потому и API), предназначенный для передачи некоторых операций виртуальных машин по работе с дисками на сторону массива. В этом случае хост-сервер виртуализации VMware ESX / ESXi при выполнении стандартных процедур в среде виртуализации при работе ВМ с дисковой подсистемой просто дает команду массиву (или массивам) сделать определенные действия, при этом сам хост не гонит через себя все те данные и команды, которые он раньше был вынужден прогонять. То есть, это - Hardware Offloading операций с СХД.

Ну а раз это аппаратно-зависимая вещь, то это означает, что сам массив должен в своем Firmware поддерживать vSphere VAAI (у которой еще бывает несколько видов - так называемые "примитивы"). Чтобы узнать поддерживает ли ваш хост VAAI нужно пойти в VMware Hardware Compatibility Guide и поискать свой дисковый массив в категории "Storage/SAN". Там все сделано несколько криво, но нужно искать в Supported Releases следующую сноску:

VAAI primitives "Full Copy", "Block Zeroing" and "Hardware Assisted Locking" are supported with vmw_vaaip_xxx plug-in

xxx - это идентификатор плагина от VMware

Ну и, конечно, ваш хост VMware ESX / ESXi должен быть версии 4.1 или выше. И помните, что на некоторых массивах VAAI по умолчанию выключена, поэтому вам нужно почитать документацию о том, как ее включить. Кроме того, функциональность VMware vSphere VAAI есть только в изданиях VMware vSphere Enterprise и Enterprise Plus (см. сравнение изданий).

Теперь, какие примитивы (то есть типовые операции с СХД) реализует VMware vSphere VAAI:

• Full Copy / Clone Blocks / XCOPY  – функция, позволяющая передать на сторону массива возможности копирования объектов виртуальной инфраструктуры без задействования операций четния-записи со стороны сервера VMware ESX 4.1. Эту функцию также называют Hardware Offloaded Copy и SAN Data Copy Offloading.
• Write Same / Zero Blocks – возможность обнуления больших массивов блоков на дисковых устройствах для быстрого создания дисков vmdk типа eager zero thick.
• Atomic Test and Set (ATS) –возможность защиты метаданных тома VMFS как кластерной файловой системы в ситуациях, когда большое количество хостов ESX имеют разделяемый доступ к одному хранилищу. Также эта функция называется Hardware Assisted Locking.

Давайте рассмотрим как эти компоненты VAAI работают и для чего они нужны.

Full Copy

Используя этот примитив, дисковый массив по команде VMware vSphere осуществляет копирование виртуальной машины (а самое главное для нас копирование диска VMDK) без участия сервера ESX / ESXi и его стека работы с подсистемой хранения (соответственно, не гоняется трафик и не дается нагрузка на CPU). В этом случае гипервизор рассказывает хранилищу, какие блоки занимает виртуальная машина, а оно уже делает все остальное по копированию блоков.

Виртуальная машина может копироваться как в пределах одного хранилища, так и между двумя массивами, если они поддерживают функциональность XCopy. Наиболее интересный способ применения данной техники - это массовое развертывание виртуальных машин из шаблонов, которое больше всего востребовано в VDI-инсталляциях (например, в решении для виртуализации корпоративных ПК предприятия VMware View 4.5).

Еще один важный аспект применения - операция Storage vMotion, которая требует копирования виртуальных дисков машины.

С vSphere VAAI операции по копированию блоков данных хранилищ виртуальных машин занимают меньше времени (в некоторых случаях оно сокращается на 95%):

Ну а вот такие результаты нам выдает Storage vMotion:

Кроме того, данная технология интегрирована и с функциональностью "тонких" (thin) дисков как самой VMware, так и механизмом Thin Provisioning сторонних вендоров.

Write Same / Zero Blocks

За счет этой технологии сервер VMware ESX / ESXi может дать команду хранилищу обнулить блоки виртуальных дисков типа Eager zeroed thick (см. типы дисков). Эти диски являются самыми безопасными (блоки чистятся при создании) и самыми производительными (при обращении к блоку его не надо обнулять и тратить ресурсы), но занимали очень много времени на их создание. Теперь с техникой VAAI этот процесс сильно ускоряется, что позволяет использовать диски eagerzeroedthick чаще (например, для машин с включенной Fault Tolerance). Напомню, что сейчас по умолчанию в VMware vSphere создаются диски типа Zeroed thick disks.

Теперь одинаковые команды ввода-вывода на сторадж от сервера ESX / ESXi дедуплицируются, а массиву дается команда на повторение одинаковых команд для разных блоков. На эту тему есть отдельное видео:

Atomic Test and Set (ATS) или Hardware Assisted Locking

За счет этой техники vSphere VAAI существенно уменьшается число операций с хранилищем, связанных с блокировкой LUN на системе хранения. Как вы знаете, при работае виртуальных машин возникают конфликты SCSI Reservations, связанные с тем, что некоторые операции вызывают блокировку всего LUN для обновления метаданных тома VMFS. Операций этих много: запуск виртуальной машины (обновляется lock и создаются файлы), развертывание новой ВМ, создание снапшота, миграция vMotion и т.п.

Нехорошо также, что при использовании тонких дисков (например для связанных клонов VMware View) также происходит блокировка LUN при выделении нового блока растущему диску (надо обновлять метаданные - см. тут). Это, прежде всего, приводит к тому, что возникает ограничение на количество размещаемых на LUN виртуальных машин, чтобы конфликтов SCSI Reservations не было слишком много.

Теперь же, за счет VAAI, эти операции передаются на сторону дискового массива, который при необходимости обновить метаданные тома не блокирует весь LUN, а лочит только секторы метаданных, которые требуется обновить. Все это делается массивом безопасно и надежно. Отсюда вытекает уменьшение числа конфликтов SCSI Reservations и ,как следствие, лучшая производительность и увеличения числа ВМ на LUN.

Ограничения VMware vSphere VAAI

Недавно мы писали про Data Mover'ы - это компоненты VMware ESX / ESXi, отвечающие за работу хост-сервера с хранилищами при копировании данных. Поддержкой VAAI заведует компонент fs3dm – hardware offload. Он пока еще молодой, поэтому не поддерживает некоторых сценариев использования. Соответственно все или некоторые техники VAAI у вас не будут работать в следующих случаях:

• Исходный и целевой тома VMFST имеют разные размеры блоков
• Исходный файл лежит на том RDM, а целевое хранилище - это не том RDM 
• Исходный тип диска VMDK - это eagerzeroedthick, а целевой - thin
• Исходный или целевой тип диска VMDK VMDK - один из типов sparse или hosted (не платформа vSphere)
• Исходная виртуальная машина имеет снапшот 
• Блоки хранилища, где лежит виртуальная машина не выровнены (по умолчанию vSphere Client выравнивает блоки автоматически)

Как включить VMware vSphere VAAI

Как уже было сказано выше, со стороны хранилищ VAAI может быть выключена и нужно почитать документацию на СХД. На хостах ESX / ESXi по умолчанию VAAI включена. Проверить это можно, перейдя в Configuration > Advanced Settings и увидев следующие параметры, напротив которых стоят единицы:

• DataMover/HardwareAcceleratedMove (это возможности Full Copy)
• DataMover/HardwareAcceleratedInit (это Zero Block)
• VMFS3/HardwareAcceleratedLocking (это ATS)

Или можно проверить из командной строки:

# esxcfg-advcfg -g /DataMover/HardwareAcceleratedMove
# esxcfg-advcfg -g /DataMover/HardwareAcceleratedInit
# esxcfg-advcfg -g /VMFS3/HardwareAcceleratedLocking

Если ваше хранилище не поддерживает VAAI - ничего страшного, хост ESX / ESXi будет работать софтовыми дедовскими методами.

Как проверить, работает ли vSphere VAAI?

Очень просто, откройте категорию Storage на вкладке Configuration в vSphere Client и посмотрите в последний столбик.

Статус Unknown означает, что хост еще не обращался к операциям, которые поддерживаются VAAI (то есть, это дефолтный статус). Если вы сделаете какую-нибудь операцию с VAAI (например, Copy/Paste виртуального диска больше 4 МБ), то VAAI попробует отработать. Если он отработает успешно - выставится статус Supported, ну а если нет - то Not Supported.

Опросить стораджи можно также из командной строки:

# esxcfg-scsidevs -l | egrep "Display Name:|VAAI Status:"

Вывод будет похожим на это:

Display Name: Local VMware Disk (mpx.vmhba2:C0:T0:L0)
VAAI Status: unsupported
Display Name: Local USB CD-ROM (mpx.vmhba32:C0:T0:L0)
VAAI Status: unknown
Display Name: Local TEAC CD-ROM (mpx.vmhba3:C0:T0:L0)
VAAI Status: unknown
Display Name: DGC Fibre Channel Disk (naa.6006016030801c00f8506073d0d7de11)
VAAI Status: unknown
Display Name: DGC Fibre Channel Disk (naa.6006016030801c00f9506073d0d7de11)
VAAI Status: unknown

Дополнительная информация о vSphere VAAI

Обзорное видео:

Демо от EMC:

Демо от HP:

Демо от NetApp:

Документы:

vStorage APIs for Array Integration FAQ

What's New in VMware vSphere 4.1 — Storage

Как мы уже писали, в VMware vSphere 4.1 появилась технолония Storage IO Control (SIOC, подробности здесь), которая позволяет настраивать приоритеты доступа виртуальных машин к хранилищам не в рамках одного хоста VMware ESX / ESXi, а в рамках всего кластера.

Первый документ "Storage I/O Control Technical Overview and Considerations for Deployment" рассказывает нам о том, как именно работает данная технология:

как ее нужно настраивать:

и какие рекомендации по настройкам Latency можно использовать при борьбе виртуальных машин за ресурсы ввода-вывода, в зависимости от типов хранилищ:

Второй документ называется "Managing Performance Variance of Applications Using Storage I/O Control". Он содержит результаты тестирования SIOC в условиях, когда нужно выделить виртуальную машину как критичную с точки зрения ввода-вывода (отмечена звездочкой). Взяли требовательную к нагрузкам задачу (DVD Store).

Измерили эталонную производительность когда работает только критичная ВМ (левый столбик - принят за единицу, SIOC Off), измерили среднуюю производительность (когда все машины работают параллельно и у каждой Shares установлено в 1000, SIOC Off), а потом стали варьировать Shares для критичной виртуальной машины (при включении SIOC On) смотря на то, как растет ее производительность в рамках кластера:

Видим, что SIOC при распределении приоритета ввода-вывода между хостами работает. В этом же документе есть еще тесты, посмотрите.

Напоминаю, что технология VMware Storage IO Control есть только в издании VMware vSphere Enterprise Plus.

Как вы знаете, для виртуальных хранилищ (datastores) в VMware vSphere есть возможность задавать разные размеры блоков тома VMFS. Также вы, вероятно, знаете, что операция Storage vMotion позволяет перемещать виртуальную машину между хранилищами, превращая ее виртуальный диск из толстого (thick) в тонкий (thin).

Но чтобы это результирующий тонкий диск после Storage vMotion занимал на целевом хранилище только столько пространства, сколько используется внутри гостевой ОС (а не весь заданный при создании), нужно предварительно почистить блоки с помощью, например, утилиты sdelete.

Duncan Epping, известный технический эксперт VMware, обратил внимание на проблему, когда пользователь делает очистку блоков, затем Storage vMotion, а уменьшения диска не происходит. Почему так?

Очень просто, в составе VMware ESX / ESXi есть три типа datamover'ов ("перемещателей"):

• fsdm – это старый datamover, который представляет собой базовую версию компонента. Он работает сквозь все уровни, обозначенные на картинке. Зато он, как всегда, универсален.
• fs3dm – этот datamover появился в vSphere 4.0 и имеет множество оптимизаций. И вот тут данные уже не идут через стек работы с виртуальной машиной. То есть он работает быстрее.
• fs3dm – hardware offload – Этот компонент появился для поддержки технологии VAAI, которая позволяет вынести операции по работе с хранилищами виртуальных машин на сторону массива (hardware offload). Он, естественно, самый быстрый и не создает нагрузку на хост VMware ESX / ESXi.

Так вот основная мысль такова. Когда вы делаете миграцию Storage vMotion виртуальной машины между хранилищами с разными размерами блоков используется старый datamover fsdm, а когда с одинаковыми, то новый fs3dm (в программном или аппаратном варианте). Последний работает быстрее, но не умеет вычищать нулевые блоки на целевом хранилище у виртуального диска VMDK.

А вот старый fsdm, ввиду своей универсальности, это делать умеет. То есть, если нужно вычистить нулевые блоки не перемещайте ВМ между хранилищами с одинаковыми размерами блоков. Так-то вот.

Как вы знаете, у компании Veeam есть замечательный продукт Veeam Backup and Replication 5, который умеет делать не только резервные копии и восстановление виртуальных машин, но и репликацию, и виртуальные тестовые лаборатории, и напрямую может запускать ВМ из резервных копий. А сегодня мы посмотрим еще на один модуль - Veeam Search Server, тем более, что поставить его не так просто.

Вы уже все знаете про компанию StarWind Software и ее замечательный продукт StarWind Enterprise 5.6 для создания отказоустойчивых хранилищ для виртуальных машин VMware vSphere и Hyper-V. О нем написано в нашем разделе, но для начала можно почитать тут, тут и тут.

О новых возможностях StarWind Enterprise 5.6 мы уже писали, а сам продукт можно скачать здесь. Напомню, что важной новой фичей является поддержка дедупликации хранилищ для виртуальных машин, что в будущем будет вам здорово экономить деньги.

Есть еще одна деталь в плане оптимизации быстродействия. Раньше сихронизация между узлами отказоустойчивого хранилища StarWind проходила медленнее, чем в версии 5.6. Это связано с тем, что раньше для всех iSCSI таргетов операции по синхронизации ставились в общую очередь, что вызывало непоследовательную запись данных на дисковые устройства (данные писались в разнобой). Теперь все сделано грамотно - каждый таргет синхронизирует свои данные в своем последовательном потоке, потом приступает к снихронизации второй. Удобно и быстро.

Далее. Тестируйте дедупликацию, пишите о результатах. Версия StarWind Enterprise 5.7 уже не за горами. В недрах девелоперских копей зреют идеи по созданию QoS-приоритетов для канала синхронизации и канала доступа хостов к хранилищам и много чего еще.

Теперь. Все быстренько пошли на сайт Network Computing Awards 2011, выбрали "Vote Now" в левом меню и проголосовали в категории "Storage Product of the year" за StarWind Enterprise. Надо болеть за наших ребят.

Часто разговаривая с заказчиками и пользователями платформ виртуализации от VMware, я вижу, что у многих из них весьма широко применяются снапшоты (snapshots), в том числе для целей "резервного копирования". Эти снапшоты живут долго, их файлы разрастаются и поростают плесенью. Потом инфраструктура начинает тормозить, а пользователи не знают почему. И как это не казалось бы странным - удаление всех снапшотов у всех виртуальных машин решает их проблемы, с которыми они уже свыклись.

Сегодня я вам расскажу, чтоб вы наконец запомнили: снапшоты это в целом плохо и лишь иногда хорошо. На эту страницу мы с вами будем отсылать наших клиентов и пользователей виртуальных машин, которыми могут оказаться люди, не участвующие в процессе администрирования VMware vSphere, но пользующиеся функционалом снапшотов (например, веб-разработчики).

Начнем с того, когда снапшоты могут помочь (я имею в виду, конечно, руками делаемые снапшоты, а не автоматические, которые делает, например, Veeam Backup).  Снапшоты в VMware vSphere оказываются полезны в очень ограниченных условиях (например, для проверки корректности работы обновления приложения или патча операционной системы). То есть эта та точка сохранения состояния виртуальной машины, к которой можно будет вернуться через небольшой промежуток времени. Ни в коем случае нельзя рассматривать снапшоты как альтернативу резервному копированию основных производственных систем, в силу множества проблем, о которых пойдет речь ниже.

Что плохого в снапшотах виртуальных машин на VMware ESX:

1. Снапшоты неконтролируемо растут (блоками по 16 МБ). Помимо базового диска ВМ фиксированной емкости вы имеете еще один файл отличий виртуального диска, который растет как ему вздумается (предел роста одного снапшота - размер базового диска). Особенно быстро растут снапшоты для ВМ с приложениями с большим количеством транзакций (например, почтовый сервер или сервер СУБД). Со снапшотами вы не имеете контроля над заполненностью хранилищ.

2. Большое количество снапшотов (особенно цепочки, в которых может быть до 32 штук) вызывает тормоза виртуальной машины и хост-сервера ESX (в основном замедляется работа с хранилищем). Проверено на практике. Даже VMware пишет так: "An excessive number of snapshots in a chain or snapshots large in size may cause decreased virtual machine and host performance". В качестве примера можно привести тот факт, что при аллокации блоков снапшота происходит блокировка LUN (в этом режиме он доступен только одному хосту, остальные ждут). Когда снапшот делается - машина подвисает из-за сброса памяти на диск.

3. Снапшоты не поддерживают многие технологии VMware, созданные для автоматизации датацентров. К ним относятся VMware Fault Tolerance, Storage VMotion и другие. Когда одни машинки в чем-то участвуют, а другие не участвуют - это нехорошо в рамках концепции динамической инфраструктуры.

4. Снапшоты вызывают специфические проблемы при операциях с ВМ. Например, расширение диска виртуальной машины со снапшотом приводит к потере данных и непонятками, что дальше с такой машиной делать. Сто раз уже пользователи влипали (вот как вытянуть себя за волосы). Интересно также восстановить из снапшота машину с IP-адресом, который на данный момент уже используется в сети.

5. Со снапшотами бывают баги, а бывает, что они просто "by design" тупят.

6. У снапшотов было плохое поведение при их слиянии, но сейчас исправилось.

Рекомендации по работе со снапшотами:

1. Контролируйте наличие снапшотов у виртуальных машин и их размеры, своевременно удаляйте их совместно с владельцами систем. Делать это можно, например, с помощью RVTools.

2. Не храните снапшоты больше 24-72 часов. Этого времени достаточно, чтобы оттестировать обновление ПО или патч ОС (ну и, конечно, сделать бэкап).

3. На сервере VMware vCenter можно настроить алармы на снапшоты виртуальных машин. Сделайте это. Дрючьте пользователей за необоснованные снапшоты.

4. Не позволяйте делать больше 2-3 снапшотов для виртуальной машины в принципе, если это делается в производственной среде. На своих выделенных для тестирования ресурсах (изолированных) пусть разработчики делают что хотят.

5. Если вы используете ПО для резервного копирования через снапшоты ВМ (например, Veeam Backup), помните, что бывает некоторые невидимые в vSphere Client снапшоты (Helpers) остаются на хранилище. Поглядывайте за машинами из командной строки.

6. Почитайте: KB 1009402, KB 1025279, KB 1015180.

Компания VMware на прошедшей конференции VMware Partner Exchange 2011 (PEX) объяивла о некоторых подробностях касательно следующей версии платформы виртуализации VMware vSphere 5.0.

Сначала новые возможности vSphere 5.0:

• Dynamic Resource Scheduling (DRS) for Storage - эта давно ожидаемая функция платформы виртуализации, которая позволит автоматически выравнивать нагрузку на системы хранения путем динамического перемещения работающих виртуальных машин между хранилищами (сейчас это можно сделать вручную за счет Storage VMotion). Пользователи смогут определять группы Datastor'ов (они зовутся Storage Pods), которые будут использоваться для балансировки по хранилищам на базе их заполненности. Предполагается, что это повысит автоматизацию датацентров. О балансировке нагрузки по производительности хранилищ пока ничего не говорится.
• Host-based replication for Site Recovery Manager - возможность репликации виртуальных машин на уровне хостов а не SAN-хранилищ (как делается сейчас). То есть, поддержка технологии репликации со стороны СХД будет не нужна, репликация будет работать в асинхронном режиме со стороны хост-серверов. По-сути, это аналог репликации виртуальных машин в продукте Veeam Backup and Replication 5, которая сейчас активно используется в производственной среде многими компаниями для защиты данных виртуальных машин и наиболее быстрого восстановления работоспособности сервисов (показатели RTO).
• Network I/O control for Virtual Machines - эта возможность будет позволять резервировать часть канала для приоритетных задач в кластере HA/DRS на случай его перегрузки. Актуально это будет для сетей 10G, где канал шире, а вот физических адаптеров значительно меньше.

Выход VMware vSphere 5.0 запланирован на второе полугодие 2011 года. Но скорее всего пятая версия платформы выйдет до VMworld 2011, который начнется 29 августа.

Также на партнерской сессии были озвучены несколько вещей на будущее (2012 год, после vSphere 5) - фреймворк SLA, который будет позволять пользователям внутренних облаков на базе VMware vSphere определять показатели качества обслуживания для своих приложений ("policy engine"). Также обсуждалась доступность в 2012 году стандартной функциональности long-distance vMotion, которая будет позволять перемещать работающие виртуальные машины на большие расстояния (вместе с Cisco VMware делала эксперименты по перемещению на сотни миль). Сейчас Long Distance vMotion уже поддерживается для некоторых сценариев.

Это позволит воплотить в жизнь концепции Follow the Sun и Follow the Moon для больших корпораций.

P.S. Ну и не забываем о неофициальном списке новых возможностей VMware vSphere 5.0:

• Обновление железа виртуальной машины до версии 8
• Поддержка каждой виртуальной машиной до 32 vCPU
• Поддержка каждой виртуальной машиной до 1 TB ОЗУ
• Поддержка USB 3.0
• Поддержка подключения USB из клиента
• Поддержка Mac OS Server
• VCenter на Linux в виде VA

И да, в vSphere 5.0 будет уже только ESXi без аналога ESX.

Если вы используете пулы типа Linked Clone (на основе базового образа) в решении для виртуализации ПК VMware View 4.5, то знаете, что есть такая операция "Rebalance", которая перераспределяет виртуальные ПК пула по хранилищам VMFS / NFS. Но многие удивятся, как работает эта функция. Например, у вас есть несколько хранилищ различной емкости, и вы делаете Rebalance десктопов.

Получаете вот такую картину:

Слева - то, что вы ожидаете увидеть в результате балансировки, а справа - то, что получается на самом деле. В чем причина?

Все дело в том, что VMware View 4.5 использует для перемещения машин на хранилище параметр "weighted available space". У какого из хранилищ он больше - туда виртуальные машины и переезжают. Что это за параметр:

weighted_available_space = datastore_capacity * overcommit_factor – virtual_usage

Здесь:

datastore_capacity - это общая емкость хранилища VMFS / NFS.

virtual_usage - это максимально возможный объем, занимаемый виртуальными машинами на хранилище, который формируется из размера виртуальных дисков машин (номинального, а не реального) + размер памяти (для Suspend).

overcommit_factor - это настройка для Storage Overcommit, которую вы задавали для Datastore, когда выбирали, какие из них следует использовать для пулов Linked Clone. Там были такие значения:

• None - хранилище не является overcommitted.
• Default - это коэффициент 4 от размера хранилища
• Moderate - это коэффициент 7 от размера хранилища
• Aggressive - это коэффициент 15 от размера хранилища.

Теперь переходим к примеру и формуле. Есть у нас вот такая картинка (см. настройки overcommitment):

Счтиаем weighted available space:

• DS1 - 1000GB (Datastore Size) * 4 (Conservative Overcommitment) – 0 (No VM's deployed) = 4000
• DS2 - 1000GB (Datastore Size) * 4 (Conservative Overcommitment) – ((20GB + 130MB)x5) (5 VM's already deployed) = 3865
• DS3 - 1000GB (Datastore Size) * 7 (Moderate Overcommitment) – ((20GB + 130MB)x5) (5 VM's already deployed) = 6865

Теперь вот вам задачка - что будет в результате Rebalance виртуальных ПК?

По-сути, правило таково: если у вас все хранилища с одинаковым уровнем Storage Overcommitment и одинакового размера, то виртуальные машины будут перемещены на другие хранилища, если там больше свободного места, чем свободного места на текущем хранилище. Ну а если разного размера и одинакового уровня Overcommitment - то ожидайте того, что машины останутся на больших хранилищах. Так-то вот.

И да, никогда не далейте Storage VMotion для виртуальных машин VMware View 4.5 вручную - это не поддерживается со стороны VMware.

Материал написан по мотивам заметки "VMware View 4.5: Rebalance" от Simon Long.